Die venezianischen Anlagen von Rethimnon waren nicht besonders widerstandsfähig und wurden wiederholt von Piraten zerstört. Innerhalb der Stadt gab es jedoch noch die Fortezza, ein wehrhaftes Fort auf einem Hügel. Die Stadt fiel im November 1646 an die Türken. Die Fortezza blieb bis heute erhalten, von den übrigen Befestigungsanlagen ist jedoch fast nichts mehr vorhanden.